No campo da engenharia de software, os métodos tradicionais de benchmark estão ficando aquém dos desafios em evolução. Os trabalhos de engenharia de software freelance são complexos e variados, indo muito além de tarefas de codificação isoladas. Os engenheiros freelance precisam lidar com bases de código inteiras, integrar vários sistemas e atender às complexas necessidades dos clientes. Os métodos de avaliação tradicionais geralmente se concentram em testes unitários e não conseguem refletir totalmente o desempenho de pilha completa e o impacto econômico real das soluções. Portanto, desenvolver métodos de avaliação mais realistas é crucial. Para isso, a OpenAI lançou o SWE-Lan

A OpenAI lançou o SWE-bench Verified, com o objetivo de avaliar com mais precisão o desempenho da IA em tarefas de engenharia de software. Ele resolve as limitações de avaliação do SWE-bench original, como testes unitários excessivamente rigorosos, descrições de problemas ambíguas e ambientes de desenvolvimento difíceis de configurar. O novo benchmark, por meio da introdução de um ambiente Docker contêinerizado, melhorou a consistência e a confiabilidade da avaliação, melhorando significativamente as pontuações de desempenho dos modelos de IA. O GPT-4o resolveu 33,2% das amostras no novo benchmark, enquanto o melhor framework de agente de código aberto A...

Um novo estudo descobriu que o ChatGPT tem menos de 50% de precisão ao responder perguntas de engenharia de software. Os resultados da pesquisa mostram que 52% das respostas do ChatGPT a perguntas de engenharia de software estavam incorretas. O ChatGPT tem uma taxa de precisão mais alta para perguntas abrangentes, mas ainda assim 77% das respostas são prolixas.